Mikhael xuất thân từ một gia đình nông dân miền Paphlagonia, một trong số đó là parakoimomenos Ioannes Orphanotrophos, đã từng làm chủ tọa khu nữ nhân tại hoàng cung.[1] Ioannes bèn đưa mấy người em trai vào triều tìm kiếm công danh sự nghiệp và hoàng hậu Zoë đã say đắm đứa út tên là Mikhael, ít lâu sau ông trở thành quan thị vệ vào năm 1033. Trước khi thăng quan tiến chức, Mikhael lúc đầu chỉ là một người làm nghề đổi tiền,[2] nhưng người ta tin rằng ông cũng là một thợ rèn chui chuyên đúc tiền giả.[3]

Cả hai đã sớm trở thành nhân tình.[4] Zoë bèn đem khoe Mikhael một cách công khai trước bàn dân thiên hạ và bàn về chuyện lập ông làm hoàng đế. Nghe được tin đồn, Romanos đã tỏ ra sốt sắng và sai người gọi Mikhael tới đối chất,[3] nhưng ông đã vội bác bỏ những lời buộc tội trên, rồi thề thốt về sự vô tội của mình trước một số thánh tích.[5] Sau đó, vào ngày 11 tháng 4 năm 1034, chồng của Zoë là Romanos được mọi người phát hiện chết trong phòng tắm của mình.[4] Những lời đồn đại mau chóng lan ra khắp nơi rằng chính đôi tình nhân đã quyết định sử dụng một chất độc chậm để giết chết hoàng đế. Tuy nhiên, vì bực bội về sự phát tán chậm chạp của loại độc này mà Mikhael đã sai người bóp cổ hoặc dìm Romanos cho chết đuối.[6][7] Nhằm tăng thêm trọng lượng cho những lời đồn được mọi người lan truyền chóng mặt là vào ngày Romanos III qua đời cũng chính là lúc Zoë và Mikhael tổ chức hôn lễ long trọng.[4]

Ngày hôm sau, ngày 12 tháng 4 năm 1034, cặp đôi này đã triệu tập Thượng phụ Alexios I tới làm lễ trong buổi lễ đăng quang của tân hoàng đế.[8] Ban đầu ông từ chối hợp tác, mãi đến khi triều đình chịu ban thưởng 50 pound vàng mới khiến ông ta đổi ý.[4] Alexios I đã tiến hành trao vương miện cho Mikhael IV trở thành vị hoàng đế mới của người La Mã.[9][10]